Education in the Knowledge Society 23 (2022)

Desarrollo de estados de la cuestión robustos: Revisiones Sistemáticas de Literatura

Developing robust state-of-the-art reports: Systematic Literature Reviews

Francisco José García-Peñalvo^a

^aGrupo de Investigación GRIAL, Departamento de Informática y Automática, Instituto Universitario de Ciencias de la Educación, Universidad de Salamanca, España

http://orcid.org/0000-0001-9987-5584fgarcia@usal.es

RESUMEN

La revisión sistemática de literatura es un método sistemático para identificar, evaluar e interpretar el trabajo de académicos y profesionales en un campo elegido. Su propósito es identificar lagunas en el conocimiento y necesidades de investigación en un campo concreto. Las revisiones sistemáticas conforman una familia amplia de métodos y aproximaciones y resultan totalmente necesarias por el volumen tan enorme de producción científica en formato digital al que se tiene potencialmente acceso. Sin embargo, no es suficiente con adjetivar una revisión como sistemática. El objetivo de este artículo es presentar las diferentes fases que se deben llevar a cabo cuando se realiza una revisión sistemática. Se comienza con la introducción de los marcos metodológicos de referencia para la realización de revisiones sistemáticas, para, a continuación, profundizar en las fases de planificación, realización e informe de la revisión sistemática. De modo que todo artículo que lleve este marbete (revisión sistemática de literatura) además de cumplir unos principios metodológicos y de transparencia, permita que cualquier investigador pueda no solo confiar en las conclusiones derivadas del trabajo, sino evolucionar la revisión sistemática realizada para atacar el problema derivado de la obsolescencia y el continuo avance del conocimiento científico, en consonancia con el modelo de datos FAIR, es decir, que se cumplen con los principios de encontrabilidad, accesibilidad, interoperabilidad y reutilización. Este artículo se ha escrito en español y en inglés.

Palabras clave
Revisión sistemática de literatura; Tipos de revisión sistemática de literatura; SALSA; PRISMA 2020; PICOC

ABSTRACT

A systematic literature review is a systematic method for identifying, evaluating, and interpreting the work of scholars and practitioners in a chosen field. Its purpose is to identify gaps in knowledge and research needs in a particular field. Systematic reviews form a broad family of methods and approaches and are made absolutely necessary by the enormous volume of scientific output in digital format that is potentially accessible. However, it is not enough to label a review as systematic. This article aims to present the different phases to be carried out when conducting a systematic review. It begins with introducing the methodological frameworks for conducting systematic reviews and then goes into the phases of planning, conducting, and reporting the systematic review. So that any article bearing this label (systematic literature review), in addition to complying with methodological and transparency principles, allows any researcher not only to trust the conclusions derived from the work but also to evolve the systematic review carried out to tackle the problem derived from the obsolescence and continuous advance of scientific knowledge, in line with the FAIR data model, i.e., it meets the principles of findability, accessibility, interoperability and reuse. This article has been written in English and Spanish.

Keywords
Systematic literature review; Types of systematic literature review; SALSA; PRISMA 2020; PICOC

1. Introducción

Los avances en el conocimiento científico se sustentan en las contribuciones que se hacen al estado de la cuestión, por tanto, conocer los trabajos relacionados mediante una revisión de la literatura existente es una parte consustancial de una buena investigación. Si la revisión de la literatura que se realice es deficiente, el resto de la investigación va a verse comprometida ya que un equipo de investigación no puede realizar un trabajo académico significativo sin conocer primero la literatura en el campo de estudio (Boote & Beile, 2005).

Si la generalidad de una investigación se lleva a la particularidad de una publicación científica, haber realizado una revisión de literatura deficiente, que no permita sustentar adecuadamente los antecedentes del trabajo en curso para demostrar sus contribuciones científicas, es una de las causas que pueden llevar al rechazo de dicha publicación (Randolph, 2009).

El estado de la cuestión es uno de los capítulos clásicos en cualquier trabajo académico, como, por ejemplo, en las tesis doctorales, donde la revisión de la literatura debe ser innovadora, reflexiva y demostrar el crecimiento personal como científicos (Daigneault et al., 2014; McGhee et al., 2007). Además, la presentación del estado de la cuestión es fundamental para sustentar la bondad de nuevas propuestas de proyectos de investigación. En el caso de los artículos científicos, las fuentes bibliográficas seleccionadas para describir el estado de la cuestión sirven para contextualizar el trabajo y contrastar las aportaciones con respecto a otras investigaciones relacionadas.

Sin embargo, el gran esfuerzo que conlleva realizar un buen estado de la cuestión y la investigación basada en evidencias, tan utilizada en el ámbito biosanitario, han llevado a que los artículos de revisión se hayan hecho muy populares y tengan una gran aceptación en el ámbito académico.

El artículo de revisión tiene por objetivo identificar qué se conoce, pero, sobre todo, qué se desconoce del campo investigado, respondiendo a un conjunto de preguntas de investigación oportunamente planteadas. Por tanto, un artículo de revisión se considera como un estudio detallado, selectivo y crítico que integra la información esencial en una perspectiva unitaria y de conjunto (Guirao-Goris et al., 2008).

La revisión se puede reconocer como un estudio de investigación en sí mismo, en el que el autor tiene un conjunto de interrogantes, que, junto con el objetivo de la revisión, los resultados previstos y la audiencia a la que va dirigida, determina cómo se identifican, recogen y presentan los datos (Booth et al., 2016). Los datos en este caso son las fuentes primarias, trabajos ya publicados, que serán analizadas y sobre las que se extraerán las conclusiones del trabajo de revisión. Así pues, la diferencia fundamental entre una revisión de literatura y un trabajo original o estudio primario es la unidad de análisis, no los principios científicos que se aplican (Gastel & Day, 2016).

Todo proceso de investigación debe seguir un método que sistematice el trabajo realizado, haciéndolo reproducible y fiable. Las revisiones de literatura no son una excepción, por tanto, para que un trabajo de revisión se considere una investigación científica, este debe ser sistemático, es decir, debe resumir y analizar la evidencia estructurada, explícita y sistemáticamente respecto de unas preguntas de investigación planteadas. Esto implica que, de forma precisa, se debe haber definido y documentado el método utilizado para encontrar, seleccionar, analizar y sintetizar las fuentes primarias.

1.1. Tipos de revisiones de literatura

En primer lugar se debe diferenciar entre las revisiones de literatura sistemáticas y no sistemáticas, estas últimas frecuentemente conocidas como revisiones narrativas (Greenhalgh, 2019), pero también conocidas como revisiones tradicionales o convencionales.

Las revisiones narrativas estudian un tópico de forma exhaustiva, incluyendo diversos aspectos. El tema se presenta en un formato narrativo, sin justificar los métodos utilizados para obtener y seleccionar la información presentada (Soto & Rada, 2003). En consecuencia, una revisión narrativa tiene muchas probabilidades de estar mal realizada, mal comunicada, o ambas cosas (Shea et al., 2002).

Booth et al. (2016) consideran que para que una revisión se pueda clasificar como sistemática debe tener claridad y validez interna, además de ser auditable. La claridad implica una estructura que sea fácil de navegar e interpretar y una metodología que sea fácil de juzgar. La validez interna debe proteger el trabajo de revisión contra los sesgos en la selección de los trabajos primarios, primando la relevancia y el rigor. Finalmente, la revisión debe ser auditable para garantizar la transparencia del proceso de revisión, para tener la seguridad de que las conclusiones se basan en los datos primarios y no se han fabricado los argumentos para sustentar una hipótesis formulada de antemano al proceso de revisión, además de permitir que el proceso de revisión pudiera ser reproducido por otros investigadores.

Estas premisas son congruentes con las características establecidas por Codina (2017) y que debe cumplir una revisión para ser considerada sistemática: sistemática (de ahí su nombre, para evitar sesgos y subjetividad), completa (se han usado sistemas de información de los que se presume que facilitan el acceso virtual a la totalidad de la producción de calidad de una disciplina), explícita (se dan a conocer tanto las fuentes utilizadas como los criterios de búsqueda y de selección y exclusión) y reproducible (se permite que otros investigadores comprueben el trabajo, sigan los pasos y contrasten los resultados obtenidos para determinar su exactitud o su grado de acierto).

Como resumen de las diferencias entre una revisión sistemática y una revisión no sistemática, los términos explícita, transparente, metódica, objetiva, estandarizada, estructurada, reproducible, creativa, comprensible, publicable, estimulante y bien escrita se pueden asociar a una revisión sistemática correctamente realizada, mientras que los términos implícita, opaca, caprichosa, subjetiva, variable, caótica e idiosincrática se pueden asociar a una revisión no sistemática.

Centrando la atención en las revisiones sistemáticas, hay diversas aproximaciones que van desde la comprobación de hipótesis hasta el uso de técnicas interpretativas. De forma general, se pueden clasificar en cualitativas, cuando las evidencias se presentan de forma descriptiva sin un análisis estadístico, y en cuantitativas o meta-análisis, cuando combinan cuantitativamente los resultados usando técnicas estadísticas (Letelier et al., 2005).

Hay, por tanto, diversos tipos de revisiones de literatura, que incluyen desde aquellas que se caracterizan por un enfoque más general para encontrar los estudios más notables de un campo, pero con poco énfasis en la evaluación de su calidad —revisiones de ámbito o scoping review— hasta las que siguen un protocolo exhaustivo, en el que el control de la calidad está muy presente y concluyen con una síntesis y un análisis de alta complejidad —revisión sistemática de referencia o gold standard systematic review—. Entre estos extremos hay muchas variantes con diferencias en las etapas de búsqueda, evaluación, síntesis y análisis de las fuentes primarias.

Con especial atención a la síntesis de las fuentes primarias se distingue entre revisiones agregativas e interpretativas/configurativas (Gough et al., 2012). Las revisiones que recogen datos empíricos para describir y probar conceptos predefinidos presentan una lógica agregativa porque tanto las fuentes primarias como la revisión agregan observaciones empíricas y hacen afirmaciones empíricamente contrastadas sobre un conjunto de posiciones conceptuales predefinidas. Además, las revisiones agregativas tienden a combinar formas de datos similares, por lo que interesa la homogeneidad de los estudios. Por su parte, las revisiones que tratan de interpretar y comprender el mundo organizan o configuran la información y desarrollan los conceptos, siendo más exploratorias. Por más que la metodología básica se determine de antemano, los métodos específicos se adaptan o se seleccionan de forma iterativa a medida que avanza la investigación. A diferencia de las agregativas, las revisiones interpretativas se orientan más al descubrimiento de patrones derivados de una heterogeneidad.

La distinción entre revisiones agregativas e interpretativas se basa en que las revisiones cuantitativas y cualitativas implican tareas separadas. Sin embargo, la revisión de métodos mixtos —mixed-methods review— busca sacar provecho de la combinación de los conceptos y los patrones con el poder de los números (Pluye & Hong, 2014). Por tanto, se utiliza el término revisión integrativa —integrative review— para los casos en los que se reúnen ambos tipos de datos (Whittemore & Knafl, 2005), con la idea de producir un todo que es mayor que la suma de sus partes.

Ha habido varios intentos de realizar una taxonomía de las revisiones de literatura. Booth et al. (2016) identifican 14 tipos de revisiones, Paré et al. (2015) presentan 9 tipos de revisiones organizados en 4 dimensiones (resumen de conocimiento anterior, agregación de datos, construcción de una explicación, evaluación crítica de la literatura existente), Whittemore et al. (2014) diferencian 8 tipos de revisiones (9 si se distinguen dos tipos de meta-análisis: meta-análisis de ensayos con control aleatorio y meta-análisis de estudios observacionales) y García-Holgado et al. (2020) añaden la revisión sistemática de proyectos de investigación. En la Tabla 1 se resumen los principales tipos de revisiones de literatura según Booth et al. (2016), Paré et al. (2015) y Whittemore et al. (2014). A continuación, se hace una breve descripción de cada uno de los tipos identificados en dicha tabla.

La revisión de literatura o revisión narrativa (literature review / narrative literatura) (Green et al., 2006) es un término genérico para hacer referencia a un examen de la literatura reciente o actual, que puede abarcar una amplia gama de temas con distintos niveles de exhaustividad y amplitud. Suele utilizar una estrategia de búsqueda selectiva o por oportunidad, sin que se utilicen unos criterios explícitos de selección ni de aseguramiento de la calidad de las fuentes primarias. Para sintetizar y analizar los resultados se utiliza un enfoque narrativo. Ejemplos de este tipo de revisiones podrían ser (García-Peñalvo & Seoane-Pardo, 2015; Ren et al., 2021).

La revisión de mapeo de literatura (mapping review/ systematic map) (Grant & Booth, 2009) traza y categoriza la literatura existente a partir de la cual encargar nuevas revisiones y/o investigaciones primarias, identificando las lagunas en la literatura de investigación. Responde a unas preguntas planteadas con ámbito amplio para obtener una muestra representativa del campo de investigación de fuentes primarias. La selección de las fuentes se hace siguiendo unos criterios explícitos y no suele haber una evaluación de la calidad de las fuentes seleccionadas. La síntesis se suele basar en gráficos y tablas, mientras que el análisis puede ser creativo, centrarse en un análisis crítico de los datos, realizar comparaciones o identificar patrones o temas importantes. Aunque las revisiones de mapeo de literatura son un tipo específico de revisión, el enfoque de mapeo se puede utilizar para presentar las características del conjunto de datos que ha resultado del proceso propio de cualquier otro tipo de revisión sistemática de literatura. Ejemplos de este tipo de revisiones podrían ser (Conde et al., 2021; Rincón-Flores et al., 2019).

La revisión panorámica (overview) (Oxman et al., 1994) es un término genérico que aborda el resumen de la literatura seleccionada para hacer un estudio de esta y describir sus características. Puede incorporar o no aspectos sistemáticos en la búsqueda y la síntesis. El análisis puede presentarse en un formato cronológico, conceptual, temático, etc. Ejemplos de este tipo de revisiones podrían ser (Boulos et al., 2007; King et al., 2019).

La revisión rápida (rapid review) (Butler et al., 2005) se utiliza para evaluar lo que ya se sabe sobre una cuestión política o práctica, utilizando métodos de revisión sistemática para buscar y evaluar críticamente la investigación existente. Ejemplos de este tipo de revisiones podrían ser (Bryant & Gray, 2006; Cardwell et al., 2022).

La revisión de alcance (scoping review) (Daudt et al., 2013) es una evaluación preliminar del tamaño y el alcance potencial de la literatura de investigación disponible. Tiene como objetivo identificar la naturaleza y el alcance de las pruebas de investigación (normalmente incluye la investigación en curso). Tiene un enfoque amplio, pero con un objetivo comprensivo. Se aplican criterios explícitos de selección, pero no es esencial aplicar criterios de calidad. Se suelen utilizar técnicas de análisis de contenido. Ejemplos de este tipo de revisiones podrían ser (Archer et al., 2011; Marcos-Pablos & García-Peñalvo, 2022; Veteska et al., 2022).

La revisión del estado de la cuestión (state-of-the-art review) (Grant & Booth, 2009) intenta abordar asuntos más actuales en contraste y combinación con otros enfoques retrospectivos. Puede ofrecer nuevas perspectivas sobre el tema o señalar un área para seguir investigando. Aplica una búsqueda exhaustiva de la literatura, sin hacer una evaluación de las fuentes obtenidas. Suele combinar técnicas narrativas y tabulares para presentar el estado actual del conocimiento, así como las tendencias y limitaciones del campo de la investigación. Un ejemplo de este tipo de revisiones podría ser (Gyongyosi & Imre, 2019).

La revisión descriptiva (descriptive review) (King & He, 2005) busca determinar el grado en que un conjunto de estudios empíricos en un área de investigación específica revela patrones o tendencias interpretables con respecto a proposiciones, teorías, metodologías o hallazgos preexistentes. Suele emplear métodos de búsqueda estructurada para formar una muestra representativa de un grupo más amplio de trabajos relacionados con el área de investigación. Se emplean criterios de selección, pero no de evaluación de la calidad. Un ejemplo de este tipo de revisiones podría ser (Palvia et al., 2004).

La revisión integrativa (integrative review) (Whittemore & Knafl, 2005) incluye tanto la investigación experimental como la no experimental con el fin de comprender más profundamente un fenómeno de interés. Las revisiones integrativas combinan datos de la literatura teórica y empírica, siendo habitual varias estrategias de búsqueda para llegar a ambos tipos de fuentes. Los trabajos primarios se pueden codificar en función de su calidad, pero no necesariamente se excluyen. El análisis combina aspectos creativos con el análisis crítico de los datos. Un ejemplo de este tipo de revisiones podría ser (Stamp et al., 2014).

El meta-análisis (Higgins et al., 2021) combina estadísticamente los resultados de los estudios cuantitativos para proporcionar un efecto más preciso de los resultados. Suele buscar, principalmente, uno de estos objetivos: (1) evaluar la consistencia/variabilidad de los resultados entre los estudios primarios incluidos en la revisión (es decir, la heterogeneidad entre los estudios); (2) investigar y explicar (si es factible) las causas de cualquier heterogeneidad (por ejemplo, mediante subgrupos o análisis de meta-regresión) para mejorar la comprensión científica; (3) calcular un resumen del tamaño del efecto junto con un intervalo de confianza; y (4) evaluar la robustez del tamaño del efecto acumulativo a través del análisis de la sensibilidad y de evaluaciones formales de las fuentes potenciales de sesgo, incluido el sesgo de publicación, que se deriva de los estudios primarios y podría tener un impacto en el efecto resumen calculado. Ejemplos de este tipo de revisiones podrían ser (Das et al., 2022; Sung et al., 2016).

La revisión de estudios mixtos / revisión de métodos mixtos (mixed studies review / mixed methods review) (Pluye et al., 2009) examina simultáneamente estudios primarios cualitativos, cuantitativos o mixtos. Para Whittemore et al. (2014) esta revisión podría ser equivalente a la revisión integrativa. Un ejemplo de este tipo de revisiones podría ser (Buck et al., 2015).

La revisión sistemática cualitativa / síntesis de evidencias cualitativas (qualitative systematic review / qualitative evidence synthesis) (Candy et al., 2011) integra o compara los resultados de estudios cualitativos. Un ejemplo de este tipo de revisiones podría ser (Yu et al., 2008).

La revisión paraguas (umbrella review) (Smith et al., 2011), también denominada resumen de revisiones, se describe como un estudio terciario que integra evidencias de diferentes revisiones sistemáticas (cualitativas o cuantitativas) para responder a un conjunto no muy amplio de preguntas de investigación. Cuenta con un conjunto de criterios de selección de las fuentes secundarias y de evaluación de la calidad de estas. Un ejemplo de este tipo de revisiones podría ser (García-Holgado & García-Peñalvo, 2018).

La revisión RE-AIM (RE-AIM review) (Glasgow et al., 1999) tiene como objetivo evaluar y sintetizar el alcance, la eficacia, la adopción, la aplicación y mantenimiento de las intervenciones. Un ejemplo de este tipo de revisiones podría ser (Blackman et al., 2013).

La revisión realista (realist review) (Greenhalgh et al., 2011), también llamadas revisiones meta-narrativas (meta-narrative reviews) o revisiones de síntesis de evidencia cualitativa (qualitative evidence synthesis reviews), son revisiones interpretativas conducidas por la teoría que se desarrollan para informar, mejorar, ampliar o complementar alternativamente las revisiones sistemáticas convencionales, dando sentido a la evidencia heterogénea sobre intervenciones complejas aplicadas en diversos contextos de manera que informen la toma de decisiones políticas. Un ejemplo de este tipo de revisiones podría ser (Wong et al., 2010).

La revisión teórica (theoretical review) (Webster & Watson, 2002) se basa en los estudios conceptuales y empíricos existentes para proporcionar un contexto que permita identificar, describir y transformar en un orden superior la estructura teórica y los diversos conceptos, constructos o relaciones. Su objetivo principal es desarrollar un marco o modelo conceptual con un conjunto de proposiciones o hipótesis de investigación. No tiene por qué incorporar criterios para evaluación de calidad de las fuentes primarias. Un ejemplo de este tipo de revisiones podría ser (DeLone & McLean, 1992).

La revisión sistemática / búsqueda y revisión sistemáticas (systematic review / systematic search and review) (Kitchenham & Charters, 2007) combina los puntos fuertes de la revisión crítica con el proceso de búsqueda exhaustiva. Aborda cuestiones amplias para producir una síntesis de la mejor evidencia. Ejemplos de este tipo de revisiones podrían ser (Fornons & Palau, 2021; Vázquez-Ingelmo et al., 2019).

La revisión crítica (critical review) (Dixon-Woods et al., 2006) analiza críticamente la literatura existente sobre un tema amplio para revelar sus debilidades, contradicciones, controversias e inconsistencias. A diferencia de una revisión que trata de integrar los trabajos existentes, una revisión que implica una evaluación crítica no tiene por qué comparar las fuentes primarias entre sí. En cambio, compara cada obra con un criterio y considera que es más o menos aceptable. Las revisiones críticas son selectivas o representativas, raramente implican una búsqueda exhaustiva de toda la literatura relevante. Este tipo de revisiones pueden proporcionar explicaciones de cómo se llevó a cabo el proceso de revisión, pero rara vez evalúan la calidad de los estudios seleccionados, especialmente cuando se trata de investigación cualitativa. Ejemplos de este tipo de revisiones podrían ser (Balijepally et al., 2011; Bolinger et al., 2021).

1.2. Objetivo y organización del artículo

Los enfoques sistemáticos se refieren a los elementos de una revisión bibliográfica que, ya sea de forma individual o colectiva, contribuyen a que los métodos sean explícitos y reproducibles. Estos enfoques sistemáticos se ponen de manifiesto tanto en la realización como en la presentación de la revisión bibliográfica y se personifican en el método formal de revisión sistemática. Los enfoques sistemáticos incluyen (Booth et al., 2016):

•Enfoques sistemáticos para la búsqueda de la literatura.

•Enfoques sistemáticos para la evaluación de la calidad.

•Enfoques sistemáticos para la síntesis de la literatura.

•Enfoques sistemáticos para el análisis de la solidez y la validez de los resultados de la revisión.

•Enfoques sistemáticos para la presentación de los resultados de la revisión mediante enfoques narrativos, tabulares, numéricos y gráficos.

Por tanto, de forma general, se puede definir una revisión sistemática de literatura como un método sistemático para identificar, evaluar e interpretar el trabajo de investigadores, académicos y profesionales en un campo elegido (Fink, 1998).

El objetivo de este artículo es presentar las diferentes fases que se deben llevar a cabo cuando se realiza una revisión sistemática. Se comienza con la introducción de los marcos metodológicos de referencia para la realización de revisiones sistemáticas, para, a continuación, profundizar en las fases de planificación, realización e informe de la revisión sistemática.

2. Marcos metodológicos de referencia para la realización de revisiones sistemáticas

Una revisión sistemática requiere haber definido un protocolo de actuación previamente, que se debe seguir y aplicar en las fases de realización de la revisión. El protocolo debe documentarse, pudiéndose publicar de forma independiente a la revisión (Torres-Torres et al., 2021) o como parte integrante de esta (Cruz-Benito et al., 2019).

Hay muchos marcos metodológicos que sirven de referencia para determinar los protocolos de búsqueda en los diferentes tipos de revisiones sistemáticas como la guía Cochrane (Higgins et al., 2021), SALSA (Grant & Booth, 2009),

A (Liberati et al., 2009; Page, McKenzie, et al., 2021) o PSALSAR (Mengist et al., 2020), entre otros.

El marco SALSA (Grant & Booth, 2009) toma su nombre de los cuatro pasos principales en el proceso de revisión, que son Search, AppraisaL, Synthesis y Analysis (búsqueda, evaluación, síntesis y análisis).

La fase de búsqueda (search) se refiere a cómo se lleva a cabo la búsqueda de las fuentes primarias que serán objeto de revisión. El protocolo de revisión debe establecer que la búsqueda se realice utilizando las bases de datos de referencia, como, por ejemplo, WoS o Scopus. La estrategia de búsqueda debe incorporar criterios transparentes y bien definidos, tanto de inclusión como de exclusión de los trabajos a analizar. Normalmente, esta estrategia de búsqueda se materializará con la elección de las palabras clave, las ecuaciones de búsqueda correspondientes y, posiblemente, aplicando filtros de algún tipo, por ejemplo, fuentes primarias publicadas en los últimos 5 o 10 años, en determinados idiomas, etc. Por tanto, el objetivo final de esta fase es conseguir un banco de fuentes primarias, formado por un número variable de registros que dependerá del tipo de estudio, los objetivos y los criterios de inclusión y exclusión aplicados.

La fase de evaluación (appraisal) de las fuentes primarias, obtenidas a través de las diversas búsquedas, se realiza en base a unos criterios predefinidos que se aplican a cada una de las fuentes seleccionadas para decidir si finalmente formarán parte de la revisión. Los criterios se pueden organizar en dos bloques que suponen un doble filtro. El primer bloque lo constituyen los criterios pragmáticos, como la fecha de publicación de los trabajos, su ámbito geográfico o temático, etc. El segundo bloque lo conforman los criterios de calidad de las fuentes primarias, como la calidad de la investigación, las metodologías utilizadas, los resultados, etc. Por tanto, el objetivo de esta fase es excluir las fuentes primarias del corpus final que no cumplen los criterios básicos de inclusión y asegurarse que las que formen parte del corpus final revisión tienen la suficiente calidad y pertinencia.

Las fases de síntesis y análisis (synthesis y analysis) tienen como objetivo reunir y comparar los resultados de cada una de las fuentes primarias del corpus seleccionado tras las diferentes iteraciones de cribado aplicando los criterios de inclusión/exclusión y los criterios de evaluación de la calidad. Concretamente, la síntesis se refiere a la representación sintética de cada fuente primaria, extrayendo sus características más relevantes relacionadas con las preguntas de investigación formuladas. En el caso de las revisiones cuantitativas abordará aspectos numérico-estadísticos mediante técnicas de meta-síntesis, mientras que en las revisiones de tipo cualitativo se pueden utilizar tablas o fichas para sintetizar sus dimensiones comunes. Por su parte, la fase de análisis implica la descripción y valoración global de los resultados encontrados. Para el desarrollo del estado de la cuestión, el análisis permite presentar un discurso global sobre la situación del campo de estudio considerado.

El marco PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses) (Hutton et al., 2016; Moher et al., 2010; Page, McKenzie, et al., 2021; Shamseer et al., 2015) es uno de los más utilizados en artículos de revisión sistemática (en agosto de 2020 se estimaba que en la base de datos Scopus se había citado la versión de 2009 de PRISMA en unos 60.000 artículos y se había recomendado como referencia en más de 200 revistas científicas y organizaciones, alcanzando a todas las ramas del conocimiento). El objetivo del marco PRISMA es ayudar a los autores a mejorar la información de las revisiones sistemáticas y los meta-análisis. También puede ser útil para la evaluación crítica de las revisiones sistemáticas publicadas. La declaración PRISMA consta de una lista de comprobación de 27 elementos (https://bit.ly/34QMZnW), que no es un instrumento de evaluación de la calidad de una revisión sistemática, y de un diagrama de flujo, cuya última actualización data de 2020 (Page, McKenzie, et al., 2021; Page, Moher, et al., 2021).

El diagrama de flujo se utiliza en el elemento 16 de la lista de comprobación para describir el cribado desde el número de registros identificados en la búsqueda hasta el número de estudios incluidos finalmente en el corpus de la revisión. Es importante dejar claro que el diagrama de flujo PRISMA no es el proceso, sino la representación gráfica de las fases de selección de una revisión sistemática.

En la versión de 2009 (Moher et al., 2010), el diagrama de flujo se organizaba en cuatro fases, identificación (para señalar el número de registros encontrados al lanzar la búsqueda en cada base de datos), filtrado (para eliminar registros duplicados o que no cumplen los criterios de inclusión), elegibilidad (para eliminar los registros que no cumplen los criterios de calidad marcados) e inclusión (para indicar que registros forman el corpus final para realizar la síntesis cualitativa y cuantitativa – si la hubiere). Este diagrama de flujo se puede ver en la Figura 1.

En la versión de 2020 del diagrama de flujo (Page, McKenzie, et al., 2021), las fases de filtrado y elegibilidad se han fusionado en una sola fase de filtrado, resultando un flujo de tres fases. Su diseño se ha adaptado de otras propuestas de diagramas de flujo (Boers, 2018; Mayo‐Wilson et al., 2018; Stovold et al., 2014). La versión 2020 del diagrama de flujo es mucho más completa porque explícitamente presenta un apartado donde incluir otras fuentes distintas de las bases de datos, donde se pueden aportar obras citadas en las fuentes primarias seleccionadas. Además, resuelve un problema que en la versión de 2009 carecía de representación: la evolución de una revisión sistemática para incorporar nuevas fuentes en una ampliación de la ventana temporal con la se realizó la primera versión de la revisión sistemática. En la Figura 2 se muestra el diagrama de flujo PRISMA 2020, de forma que las cajas en gris solo deben rellenarse si son aplicables; en caso contrario, deben eliminarse del diagrama de flujo.

3. Fases de una revisión sistemática

Con independencia del marco metodológico de referencia que se siga, toda revisión sistemática se lleva a cabo en tres fases: planificación, realización e informe (Genero et al., 2014; Kitchenham & Charters, 2007), que se resumen en la Tabla 2.

3.1. Planificación de la revisión sistemática

El cometido de esta fase es definir los objetivos, representados en las preguntas de investigación, y el protocolo de la revisión sistemática.

3.1.1. Identificación de la necesidad de la revisión sistemática

Llevar a cabo una revisión sistemática es un proceso que requiere de unos recursos humanos y de tiempo, por tanto, es fundamental hacerse las preguntas de si realmente es necesaria la revisión y de si se cuentan con los recursos necesarios para llevarla a cabo, tanto los anteriormente mencionados de las personas y el tiempo, como el acceso a las bases de datos bibliográficas adecuadas.

Por supuesto, no tiene ningún sentido hacer una revisión sistemática que ya se haya realizado antes salvo que sea evidente que las revisiones existentes tengan importantes sesgos o que estén desfasadas (Petticrew & Roberts, 2005). En este sentido, es importante comenzar cualquier nueva revisión con una búsqueda de revisiones sistemáticas existentes sobre el tema objeto de la investigación y, si se encuentran diferentes revisiones ya publicadas, invertir el tiempo y esfuerzo necesarios para analizar si los aportes de estas revisiones requieren o no de un nuevo proceso de revisión sistemática.

Si, finalmente, se decide continuar con la revisión sistemática, es el momento de definir el tipo de revisión que se va a llevar a cabo.

3.1.2. Formular las preguntas de la investigación

El propósito de una revisión sistemática es identificar las lagunas de conocimiento y las necesidades de investigación en un campo concreto. Para ello se requiere de una clara especificación del área del problema y una revisión crítica de la literatura dentro de ese dominio, con el fin de presentar una adecuada línea argumental que identifique las lagunas de conocimiento y las necesidades de investigación que deben ser abordadas.

La especificación de las preguntas de investigación es la parte más importante de cualquier revisión sistemática. Las preguntas de la revisión dirigen todo el proceso de revisión sistemática. Es por ello por lo que al comienzo de la revisión es necesario especificar claramente las preguntas a las que esta debe dar respuesta. Se debe llevar a cabo un proceso de reflexión previo a comenzar la revisión, en el que se concretarán las preguntas de investigación en un proceso iterativo que implicará su redefinición tantas veces como sea necesario.

Hay que evitar preguntas de investigación que sean muy generales y con poca profundización en los temas. De aquí que el proceso de refinamiento permita conseguir preguntas mucho más específicas que engloben los matices genéricos propios de las primeras aproximaciones. El objetivo debe ser realizar una revisión sistemática mucho más depurada que evite resultados generales que serían fáciles de obtener con otros tipos de revisiones no sistemáticas. Preguntas confusas tienden a dar respuestas confusas (Oxman & Guyatt, 1988).

Para la formulación de una pregunta de investigación se debe tener en cuenta que sea significativa para los investigadores y/o para los profesionales, que oriente hacia cambios o refuerce la confianza en la práctica actual, o que identifique discrepancias entre las creencias comunes y la realidad (Kitchenham & Charters, 2007).

Si el tipo de revisión es un mapeo, las preguntas de investigación pueden ir orientadas a recopilar conceptos y temas clave, resumir hallazgos importantes, presentar un directorio de fuentes primarias, autores, zonas geográficas donde se está investigando, años de más producción científica relacionada, etc. Si la revisión es de otro tipo, pero se tiene como objetivo presentar el corpus seleccionado en forma de mapeo, se deben distinguir las preguntas de mapeo y las preguntas de investigación, diferenciando con un código distinto unas de otra, por ejemplo, MQ<id> para las preguntas de mapeo y RQ<id> para las preguntas de investigación, donde <id> es un número natural, como se puede apreciar en el ejemplo de la Tabla 3.

En las preguntas de investigación resulta fundamental definir el ámbito, congruentemente con el tipo de revisión que se vaya a realizar. La mayoría de los problemas en una revisión sistemática se pueden atribuir a una mala definición de su ámbito. En esencia, definir el ámbito implica decidir quién, qué y cómo (Ibrahim, 2008). Es decir, resulta útil utilizar una estructura formal para definir las preguntas de una manera mucha más precisa, pudiéndolas descomponer en los conceptos que las componen. Para conducir esta descomposición y, por tanto, definir el ámbito se han definido varios marcos, como PICO (Population, Intervention, Comparison, Outcome) (Richardson et al., 1995), SPIDER (Sample, Phenomenon of Interest, Design, Evaluation, Research type) (Cooke et al., 2012), SPICE (Setting, Perspective, Intervention/Interest, Comparison, Evaluation) (Booth, 2006), CIMO (Context-Intervention-Mechanisms-Outcomes) (Denyer & Tranfield, 2009) o PICOC (Population, Intervention, Comparison, Outcome, Context) (Petticrew & Roberts, 2005).

De todos estos marcos de referencia, PICOC es el más utilizado, donde sus elementos tienen el siguiente significado:

•Population (Población): ¿Quién representa el problema o la situación que se está tratando? En una población humana, por ejemplo, ¿de qué edad, sexo, grupos socioeconómicos o étnicos se trata? ¿Cuáles son los términos técnicos, los sinónimos y los términos relacionados? En campos con menor cantidad de fuentes primarias puede omitirse cualquier restricción sobre la población.

•Intervention o Exposure (Intervención o Exposición): ¿De qué manera se está considerando intervenir en la situación? ¿Qué tipo de opciones se tiene para abordar el problema? Por ejemplo, podría ser una intervención educativa sobre el plagio (donde la población sería el estudiantado universitario). En el caso de los estudios sin intervención, puede resultar útil sustituir la intervención (un procedimiento planificado) por una exposición (un suceso no intencionado); por ejemplo, la exposición a la radiación de radiofrecuencia de las antenas de telefonía móvil.

•Comparison (Comparación): ¿Cuál es la alternativa? Es opcional. Para cuando se quiera considerar, por ejemplo, el efecto de dos o más intervenciones, comparando sus resultados posiblemente en términos de lo que aportan y/o del coste.

•Outcomes (Resultados): ¿Cómo se mide? ¿Qué quiere lograr? Esta fase permite centrarse en los resultados deseados y en cómo evaluar el impacto: qué va a medir y cómo.

•Context (Contexto): ¿Cuál es el contexto particular de su pregunta? ¿Se está buscando países/áreas/establecimientos específicos?

3.1.3. Definición del protocolo de la revisión

El rigor y la fiabilidad de las revisiones sistemáticas se basan, en gran parte, en la planificación previa y en la documentación de un enfoque metódico para su realización, es decir, en un protocolo.

El protocolo de la revisión sistemática es importante porque 1) permite planificar cuidadosamente y, por tanto, anticiparse a los posibles problemas; 2) permite documentar explícitamente lo que se ha planeado antes de comenzar la revisión, permitiendo a otros comparar el protocolo y la revisión completada (es decir, identificar la información selectiva), replicar los métodos de revisión si se desea, y juzgar la validez de los métodos planificados; 3) evita la toma de decisiones arbitrarias con respecto a los criterios de inclusión y la extracción de datos; y 4) puede reducir la duplicación de esfuerzos y mejorar la colaboración (Shamseer et al., 2015).

Shamseer et al. (2015) definen el protocolo de revisión sistemática como la hoja de ruta científica explícita de una revisión sistemática planificada y no iniciada, que detalla el enfoque metodológico y analítico racional y planificado de la revisión.

Un protocolo, en términos generales, incluye 1) la versión definitiva de las preguntas de investigación y su ámbito; 2) los criterios de inclusión, exclusión y de calidad; y 3) la estrategia de búsqueda. Siendo los elementos principales para establecer en la definición del protocolo los siguientes:

•Preguntas de investigación (incluyendo versión definitiva).

•Ámbito de la revisión.

•Marco temporal.

•Criterios de inclusión y de exclusión.

•Criterios de calidad.

•Fuentes de datos.

•Términos de búsqueda.

•Ecuación de búsqueda canónica.

Pueden usarse variaciones de estos elementos base, pero cualquiera que sea el protocolo utilizado tiene que ser cuidadosamente documentado para garantizar su transparencia y permitir que otros investigadores puedan ser capaces de seguir los mismos procedimientos y obtener resultados similares (compatibles) a los que presente la revisión sistemática.

Las preguntas de investigación y su ámbito ya han quedado definidas en el paso anterior, pero se deben incluir en la documentación del protocolo.

El marco temporal de la revisión debe ajustarse para satisfacer el objetivo buscado, pero con unas miras hacia la eficiencia del proceso. Se define explícitamente, pero se plantea como un criterio de exclusión y, si la interfaz de búsqueda lo permite, se implementa como una restricción en las bases de datos seleccionadas.

Es importante definir tanto los criterios de inclusión como de exclusión de las fuentes primarias seleccionadas, aunque muchas veces sean expresiones antagónicas. De esta manera se puede asignar un criterio de rechazo a cada fuente primaria del conjunto de datos que se esté manejando. Para facilitar su gestión se suele asignar un identificador único a cada criterio, en la forma IC<id> para los criterios de inclusión y EC<id> para los criterios de exclusión, donde <id> es un número natural.

Los criterios de calidad se utilizan cuando se quieran cribar fuentes primarias que cumplen los criterios de inclusión, pero que pueden tener puntos débiles, defectos o aportan en una menor medida a las preguntas de investigación. El objetivo es identificar las carencias con el objeto de decidir si la aportación de cada trabajo es interesante para la revisión sistemática o no. Se diseña una lista de verificación para comprobar los aspectos relevantes de los artículos seleccionados. Esta lista se compone de una serie de criterios que serán evaluados y puntuados para cada fuente primaria seleccionada según una métrica definida (Likert de 1 a N puntos; Binaria, Tri-valuada – Sí/No/Parcial, etc.). Dependiendo de la puntación de la evaluación (suma de la puntación de cada uno de los ítems de la lista), cada fuente primaria se incluiría o no en el corpus final de la revisión, para lo que se definirá un punto de corte sobre el total de los puntos posibles de la rúbrica definida. Por ejemplo, Cruz-Benito et al. (2019) proponen una lista de 10 ítems (Tabla 4) y una métrica tri-valuada, 1 si se cumple el criterio, 0 si no se cumple y 0,5 si se cumple parcialmente. Por tanto, una fuente primaria puede obtener una puntación entre 0 y 10 y se seleccionan solo las fuentes primarias que se ubican en el primer cuartil, es decir, con un límite de aceptación superior o igual a 7,5 puntos.

Se deben seleccionar y justificar las fuentes de datos en las que se van a buscar las fuentes primarias de la revisión sistemática. Se tiene que evaluar la idoneidad de cada fuente de datos con respecto a la disciplina, así como tener acceso online a su consulta. No hay que limitarse solo a las bases de datos más grandes, pero se debe ser consciente de los objetivos buscados y del esfuerzo que se va a tener que realizar, por ejemplo, no es lo mismo estar realizando una revisión sistemática para una tesis doctoral que para conocer el estado actual de una línea de investigación en los últimos años. Una decisión importante es si se van a incluir fuentes de literatura gris (Ferreras-Fernández et al., 2015). Según las directrices de AMSTAR (Shea et al., 2017), hay que buscar en al menos dos fuentes de datos, pero a medida que se aumenta el número de fuentes de datos buscadas, se obtiene mucho rendimiento y resultados más precisos y completos. En la Tabla 5 se recogen algunos ejemplos de fuentes de datos frecuentemente usadas.

Antes de formular una ecuación de búsqueda se deben establecer, de manera clara y precisa, los términos de búsqueda para, a continuación, establecer las relaciones lógicas que se darán entre ellos. Para su selección se debe tener en cuenta el ámbito de la revisión sistemática, es decir, el análisis PICOC. Hay que organizar los términos siguiendo la estrategia de búsqueda que se haya decidido, pudiendo ser necesario definir sinónimos. Si se soportan diferentes idiomas, hay que establecer la ontología de equivalencias entre los idiomas a considerar. Es frecuente el uso de caracteres comodín para definir familias de términos con la misma raíz y diferentes terminaciones. Hay ocasiones en que los términos no son sencillos de seleccionar y hay que recurrir a otros tipos de análisis para determinarlos (Marcos-Pablos & García-Peñalvo, 2020).

Una vez que se hayan identificado los términos para cada concepto dentro de la estrategia de búsqueda, se debe plantear una o varias ecuaciones de búsqueda canónicas utilizando la lógica booleana (utilizando los operadores lógicos AND, OR y NOT) para combinar los términos adecuadamente. Estas ecuaciones canónicas se adaptarán en la etapa de realización de la revisión a cada una de las fuentes de datos seleccionadas. Hart (2002) explica la lógica booleana como una forma de “sumar, restar y multiplicar los términos de búsqueda para ampliar (sumar), reducir (restar) o incluir términos (multiplicar o combinar) en la búsqueda”.

Una ecuación de búsqueda eficaz sería la formada por descriptores y sus correspondientes calificadores combinados entre sí mediante los operadores booleanos más apropiados:

•Para unir conceptos relacionados se utilizará el operador OR (operador de unión).

•Para relacionar términos que hacen referencia a conceptos distintos en un mismo documento se utilizará AND (operador de intersección).

•Para eliminar documentos que contenga el término no deseado se empleará NOT (operador de exclusión).

•A la hora de formular ecuaciones de búsqueda más complejas, en las que se combinen varios operadores, se utilizarán paréntesis para indicar qué operación se debe efectuar en primer lugar, así como operadores de proximidad si estos están soportados por el lenguaje de consulta de la fuente de datos.

3.1.4. Evaluación del protocolo de la revisión

El protocolo es un elemento crítico de cualquier revisión sistemática. Los investigadores deben acordar un procedimiento para evaluar el protocolo. Si fuera posible, podría solicitarse a un grupo de expertos independientes que revise el protocolo. Posteriormente, se podría pedir a los mismos expertos que revisaran el informe final.

3.2. Realización de la revisión sistemática

Una vez que se tiene el protocolo definido puede comenzar el trabajo de revisión propiamente dicho con las etapas de identificación, selección e inclusión de las fuentes primarias. Esta fase debe documentarse y representarse de forma visual mediante un diagrama de flujo, siendo PRISMA el más recomendado, pero existen otras opciones, como por ejemplo la que se utiliza en este estudio (Dias et al., 2018).

Además, por el principio de transparencia y para sustentar la trazabilidad, todos los conjuntos de datos manejados (desde el inicial hasta el final, pasado por las diferentes aplicaciones de filtros) deberían estar accesibles para cualquier investigador en ficheros accesibles en la nube.

3.2.1. Identificación de la investigación relevante

En esta etapa se implementa la estrategia de búsqueda planificada en el protocolo de revisión. Para ello, en cada una de las bases de datos seleccionadas se lanza una búsqueda adaptando la ecuación canónica a cada interfaz o lenguaje de consulta propios de cada base de datos o fuente de datos específica.

Debe intentarse que las consultas en las diferentes fuentes de datos sean equivalentes, de lo contrario los resultados obtenidos podrían ser no comparables. Cada adaptación de la ecuación canónica para cada fuente de datos debe quedar documentada, para esto se debe tener en cuenta que, si se utiliza una interfaz de búsqueda, muchos sistemas traducen la búsqueda a una ecuación textual, que es la que se debe recoger en la documentación del proceso.

Los registros seleccionados como resultado de cada búsqueda se deben ir exportando e integrando en la herramienta de gestión que se utilice para manejar los resultados positivos (Hoja de cálculo, Parsif.al, Mendeley, etc.).

Una vez que se tienen los resultados de todas las búsquedas integrados, para terminar con esta etapa de identificación (que se corresponde con la primera parte del diagrama de flujo de PRISMA 2020), se eliminan los registros que no van a pasar a la etapa de selección, típicamente los registros duplicados por haberse identificado en más de una base de datos, pero puede haber otras razones, como, por ejemplo, errores en la exportación de metadatos, etc. Debe quedar constancia de cada grupo de registros eliminados por una razón específica en esta fase de identificación.

3.2.2. Selección de los estudios primarios

Se corresponde con la segunda etapa de filtrado del diagrama de flujo de PRISMA 2020. El cribado se va haciendo en diferentes fases de forma iterativa. El objetivo es eliminar la mayor cantidad de fuentes primarias que no aportan a las preguntas de investigación en la menor cantidad de tiempo. Conforme se va reduciendo el número de registros y crece la probabilidad de que estos acaben siendo candidatos para formar parte del corpus final de la revisión, el tiempo que se le dedica a la revisión de cada fuente primara aumenta.

En una primera iteración se deberían revisar los títulos y resúmenes de cada fuente primaria, aplicando los criterios de inclusión y exclusión previamente definidos. En el momento que uno de los criterios de exclusión se cumple, el registro se descarta. Si se utilizara un enfoque mixto en el que intervienen personas y herramientas automáticas en esta fase, se debe distinguir cuántos registros se han excluido por intervención humana y cuántos por procesos automáticos.

Tras este primer filtro, se debería comenzar a trabajar con los textos completos de las fuentes primarias, por tanto, un segundo filtro sería eliminar aquellos registros de los que no se puede conseguir el texto completo.

Cuando se tiene acceso al texto completo, este debería leerse en profundidad. Si pasa de nuevo los criterios de inclusión y exclusión, seguiría siendo un candidato para incluirse en el corpus final. Esto debe hacerse con una lectura completa aunque, antes de esto, se puede proceder con una lectura rápida en la que se capte el contenido del documento, pero no se entre en sus detalles (revisando la estructura, introducción, conclusiones, figuras, tablas y referencias) (Keshav, 2007).

Si durante la revisión en profundidad se detectan trabajos en sus referencias que son candidatos para formar parte de la revisión, se podrían seleccionar para su inspección. Si pasan todos los criterios de inclusión y exclusión formarían parte del corpus de la revisión, aunque inicialmente no hubieran sido seleccionados por la estrategia de búsqueda. En PRISMA 2020 hay una parte opcional en su diagrama de flujo para documentar este proceso (cajas grises de la parte derecha del diagrama presentado en la Figura 2).

Cuando todas las fuentes primarias han sido revisadas en profundidad y han pasado los criterios de inclusión y exclusión se tendría el conjunto de registros candidatos para formar el corpus de la revisión. Si el protocolo no incluye criterios de calidad, este sería el conjunto de registros elegibles (tercera fase del diagrama de flujo PRISMA) resultado de la estrategia de búsqueda. Estos registros deberían combinarse con los ya existentes si se aplica un enfoque incremental partiendo de un trabajo de revisión que haya sido realizado con anterioridad (cajas grises en la parte izquierda del diagrama de flujo presentado en la Figura 2). Si existen criterios de calidad para aplicar un nuevo filtro sobre este conjunto de fuentes primarias se pasaría a la siguiente etapa.

3.2.3. Evaluación de la calidad de los estudios primarios

Si así lo marca el protocolo de revisión, se aplican los criterios de calidad a cada una de las fuentes primarias candidatas a formar parte del corpus de la revisión. El grupo de investigadores encargados de la revisión sistemática marcan el punto de corte a partir del que las fuentes primarias se seleccionan para formar el corpus de la revisión en función de la puntuación obtenida al aplicar los criterios de calidad. Se debe registrar, como en cada etapa de filtro, qué fuentes primarias no han alcanzado el mínimo establecido y, por tanto, han quedado excluidas del corpus de la revisión (Phelps & Campbell, 2012).

Al igual que se comentaba en la etapa de selección (cuando no se aplican criterios de calidad), el corpus de la revisión se compone de estas fuentes primarias seleccionadas de la estrategia de búsqueda aplicada, combinados con los registros existentes si se aplica un enfoque incremental partiendo de un trabajo de revisión ya realizado con anterioridad.

3.2.4. Extracción de los datos relevantes

De cada fuente primaria presente en el corpus de la revisión se deben extraer los datos relevantes para dar respuesta a las preguntas de investigación. La extracción de datos puede realizarse al mismo tiempo que la evaluación de la calidad o por separado, previa o posteriormente a este proceso (Barnett-Page & Thomas, 2009). Se diferencian los metadatos del artículo y el fichero o URL en el que se encuentra el texto completo (para la gestión documental de las fuentes primarias se recomienda utilizar un gestor de referencias bibliográficas) y los datos y/o contenidos de la fuente primaria relacionados con las preguntas de investigación.

En esta etapa de extracción de datos, los elementos que deben recogerse varían en cada revisión específica y es necesario guiarse por las preguntas y objetivos de la investigación. Si los datos a extraer son de naturaleza cuantitativa, los revisores deben examinar qué elementos de los datos están presentes en cada estudio individual.

Es una buena práctica preparar un formulario de extracción de datos cuantitativos (que puede adaptarse a datos cualitativos), que podría contener los siguientes elementos (Booth et al., 2016):

•Elegibilidad: declaración explícita de los criterios de inclusión y exclusión con la oportunidad de indicar si un estudio debe incluirse en la revisión o no.

•Datos descriptivos: información sobre las características del estudio, incluyendo el entorno y la población.

•Datos de evaluación de la calidad: información sobre la calidad del estudio. La documentación puede incluir una lista de comprobación formal.

•Resultados: información sobre los resultados del estudio en forma de datos que se utilizarán en la revisión. Los datos pueden estar en un formato “crudo” tomados directamente del documento y/o en un formato uniforme. Lo ideal es que estén en ambas formas para indicar la variación de los métodos, pero también para poder comprobar su exactitud.

3.2.5. Síntesis de los datos extraídos

Esta etapa es frontera con la fase de redacción del informe de la revisión sistemática, de hecho, podría llevarse a cabo conjuntamente con la creación del informe, pero de una forma lógica pertenece todavía a la fase de realización de la revisión.

Existen varias opciones para llevar a cabo la síntesis, donde el enfoque se deriva de la naturaleza de la revisión y de sus objetivos, por ejemplo, se puede utilizar categorización, síntesis narrativa, presentación en tablas, selección de términos clave, extracción de datos, evaluación de la calidad, etc.

3.3. Informe de la revisión sistemática

Es la fase final de la revisión sistemática. El objetivo es documentar y evaluar los resultados de la revisión sistemática.

3.3.1. Redacción del informe de la revisión

La redacción del informe de la revisión sistemática debe incluir la descripción y la presentación de los métodos seguidos, así como los resultados obtenidos a partir de las fuentes primarias seleccionadas.

Esta fase puede constar de dos pasos (del Amo et al., 2018). En primer lugar, un documento que incluya toda la información de forma detallada; y, en segundo lugar, posibles artículos académicos que presenten públicamente el trabajo de revisión sistemática realizado. Por tanto, la estructura y el alcance del informe va a depender del tipo de documento en el que se vayan a presentar los resultados.

Se deben usar gráficos, tablas y explicaciones visuales, pero debe haber siempre una sección de discusión de los resultados donde se ponga en valor las aportaciones de la revisión sistemática. Es una buena práctica incluir un apartado que presente las limitaciones del estudio de revisión sistemática realizado.

Los gráficos pueden contribuir de forma crucial a la síntesis porque ayudan a identificar patrones. Tienen un papel especial a la hora de ayudar a visualizar la relación de las partes con el conjunto. También pueden utilizarse para establecer vínculos entre distintas características de una revisión, por ejemplo, para representar una relación entre las características del estudio y los resultados. La creatividad y el análisis crítico de los datos y su visualización son elementos clave para la comparación de datos, así como para la identificación de patrones y de temas importantes y precisos (Whittemore & Knafl, 2005). En esta categoría se encuentran la representación gráfica de los datos, los mapas conceptuales, los modelos lógicos, los mapas, etc.

En cuanto a las tablas, estas son una herramienta muy adecuada para completar la síntesis narrativa. Dado que se utilizan las tablas para describir los estudios, no para analizarlos, es útil para todos los tipos de estudios. Se pueden usar tablas para describir las características de la población y de la intervención, para realizar comparaciones y presentar resultados, etc.

Si la revisión sistemática forma parte de un trabajo académico, por ejemplo, una tesis doctoral, se puede incluir una sección de contextualización del estado de la cuestión basada en las referencias generales del campo disciplinar, una sección de mapeo, una sección de revisión sistemática y una sección de discusión de los resultados obtenidos como respuestas a las preguntas de investigación, tal y como se presenta en la Figura 3.

Cuando el informe se enfoca hacia un artículo científico, normalmente la revisión sistemática completa es muy difícil de incorporar de forma íntegra por motivos de extensión (salvo que sea muy concreta y tenga un tamaño reducido) y habrá que seleccionar aquellas partes que sean más adecuadas para el objetivo del artículo.

3.3.2. Evaluación del informe de la revisión

La evaluación del informe que recoge todo el trabajo realizado en la revisión sistemática debe ser evaluado internamente y, si fuera posible, externamente por expertos. En el caso de los artículos de revisión sistemática, estos serán sometidos a una revisión por pares antes de su aceptación para publicación.

4. Conclusiones

El avance en el conocimiento implica conocer lo que se ha conseguido previamente. Sin una adecuada cobertura del campo disciplinar en el que se está trabajando, los riesgos de fracasar aumentan.

Por tanto, la revisión del estado de la cuestión es una actividad básica tanto para los investigadores noveles como para los más consolidados. La gestión del tiempo y de los recursos necesarios para realizar una buena cobertura del estado de la cuestión ha evolucionado desde los tiempos en los que las fuentes de referencias estaban en bibliotecas tradicionales o en los despachos de los investigadores y se desarrollaba un enfoque por oportunidad, al acceso masivo a fuentes primarias en bibliotecas digitales, donde el problema ya no es el acceso, sino la sobrecarga informativa que requiere aplicar métodos sistemáticos para poder discernir entre los trabajos que realmente aportan al estado de la cuestión de aquellos que introducen simplemente ruido.

El enfoque propio de las revisiones sistemáticas de literatura se ha convertido en el método más potente y aceptado para abordar el desarrollo del tan necesario estado de la cuestión, aplicando las bases de la investigación basada en evidencias. Por ejemplo, un trabajo académico, como una tesis doctoral, se ve fortalecido en su contextualización cuando cuenta con una revisión sistemática de la literatura. De esta manera la formulación de sus hipótesis y contribuciones será mucho más más robusta, teniendo, además, una mayor probabilidad de compartir sus resultados en forma de artículo académico.

No obstante, también se debe ser consciente de las limitaciones y riesgos de las revisiones sistemáticas. Por un lado, ha de evaluarse muy bien la necesidad de realizar una revisión sistemática y, en función de los objetivos perseguidos, elegir muy bien el tipo de revisión, porque un trabajo de estas características es muy exigente en términos de tiempo. Por otro lado, hay que considerar el posible sesgo que pueden introducir las fuentes primarias seleccionadas, bien porque la estrategia de búsqueda no haya sido adecuada con relación a los objetivos perseguidos, bien porque las fuentes primarias a las que se tenga acceso no sean las más idóneas, especialmente por carecer de acceso a su texto completo. Este no es un tema menor, ya que puede dar lugar a importantes diferencias entre investigadores de distintas instituciones cuando estas no ofrecen el mismo acceso a los recursos académicos y estos no son de acceso abierto (García-Peñalvo, 2017; Miedema, 2022).

El proceso de revisión sistemática sustenta su confiabilidad en el principio de transparencia, que se basa en la definición y compartición del protocolo de revisión, así como en el acceso público a los conjuntos de datos que se hayan ido generando, junto con las decisiones para filtrar y transformar un conjunto de datos en el siguiente más refinado y de mayor interés para avanzar hacia el corpus final de la revisión. Esto no solo ofrece las garantías sobre el proceso de revisión y las conclusiones obtenidas, sino que puede facilitar la reutilización de estos resultados para evolucionar o realizar nuevos trabajos de revisión.

La evolución de una revisión sistemática queda mucho mejor cubierta en la versión del diagrama de flujo PRISMA 2020, lo que enfatiza la importancia de seguir un marco de referencia para el desarrollo y documentación del protocolo de revisión sistemática, que debería asegurar la congruencia con el modelo de datos FAIR, cumpliendo los principios de encontrabilidad, accesibilidad, interoperabilidad y reutilización.

Referencias

Archer, N., Fevrier-Thomas, U., Lokker, C., McKibbon, K. A., & Straus, S. E. (2011). Personal health records: a scoping review. Journal of the American Medical Informatics Association, 18(4), 515-522. https://doi.org/10.1136/amiajnl-2011-000105

Balijepally, V., Mangalaraj, G., & Iyengar, K. (2011). Are we wielding this hammer correctly? A reflective review of the application of cluster analysis in information systems research. Journal of the Association for Information Systems, 12(5). https://doi.org/10.17705/1jais.00266

Barnett-Page, E., & Thomas, J. (2009). Methods for the synthesis of qualitative research: a critical review. BMC Medical Research Methodology, 9(1), Article 59. https://doi.org/10.1186/1471-2288-9-59

Blackman, K. C., Zoellner, J., Berrey, L. M., Alexander, R., Fanning, J., Hill, J. L., & Estabrooks, P. A. (2013). Assessing the internal and external validity of mobile health physical activity promotion interventions: a systematic literature review using the RE-AIM framework. Journal of Medical Internet Research, 15(10), Article e224. https://doi.org/10.2196/jmir.2745

Boers, M. (2018). Graphics and statistics for cardiology: Designing effective tables for presentation and publication. Heart, 104(3), 192–200. https://doi.org/10.1136/heartjnl-2017-311581

Bolinger, M. T., Josefy, M. A., Stevenson, R., & Hitt, M. A. (2021). Experiments in Strategy Research: A Critical Review and Future Research Opportunities. Journal of Management, 48(1), 77-113. https://doi.org/10.1177/01492063211044416

Boote, D., & Beile, P. (2005). Scholars before Researchers: On the Centrality of the Dissertation Literature Review in Research Preparation. Educational Researcher, 34(6), 3-15. https://doi.org/10.3102/0013189X034006003

Booth, A. (2006). Clear and present questions: formulating questions for evidence based practice. Library Hi Tech, 24(3), 355-368. https://doi.org/10.1108/07378830610692127

Booth, A., Sutton, A., & Papaioannou, D. (2016). Systematic Approaches to a Successful Literature Review (2nd ed.). Sage.

Boulos, M. N. K., Hetherington, L., & Wheeler, S. (2007). Second Life: an overview of the potential of 3-D virtual worlds in medical and health education. Health Information & Libraries Journal, 24(4), 233-245. https://doi.org/10.1111/j.1471-1842.2007.00733.x

Bryant, S. L., & Gray, A. (2006). Demonstrating the positive impact of information support on patient care in primary care: a rapid literature review. Health Information & Libraries Journal, 23(2), 118-125. https://doi.org/10.1111/j.1471-1842.2006.00652.x

Buck, H. G., Harkness, K., Wion, R., Carroll, S. L., Cosman, T., Kaasalainen, S., Kryworuchko, J., McGillion, M., O’Keefe-McCarthy, S., Sherifali, D., Strachan, P. H., & Arthur, H. M. (2015). Caregivers’ contributions to heart failure self-care: a systematic review. European Journal of Cardiovascular Nursing, 14(1), 79-89. https://doi.org/10.1177/1474515113518434

Butler, G., Deaton, S., Hodgkinson, J., Holmes, E., & Marshall, S. (2005). Quick but Not Dirty: Rapid Evidence Assessments as a Decision Support Tool in Social Policy. Government Social Research Unit.

Candy, B., King, M., Jones, L., & Oliver, S. (2011). Using qualitative synthesis to explore heterogeneity of complex interventions. BMC Medical Research Methodology, 11(1), Article 124. https://doi.org/10.1186/1471-2288-11-124

Cardwell, K., O’Neill, S. M., Tyner, B., Broderick, N., O’Brien, K., Smith, S. M., Harrington, P., Ryan, M., & O’Neill, M. (2022). A rapid review of measures to support people in isolation or quarantine during the Covid-19 pandemic and the effectiveness of such measures. Reviews in Medical Virology, 32(1), Article e2244. https://doi.org/10.1002/rmv.2244

Codina, L. (2017). Revisiones bibliográficas y cómo llevarlas a cabo con garantías: systematic reviews y SALSA Framework. Retrieved April 20th, 2017 from https://goo.gl/CG6vL5

Conde, M. Á., Rodríguez-Sedano, F. J., Fernández-Llamas, C., Gonçalves, J., Lima, J., & García-Peñalvo, F. J. (2021). Fostering STEAM through Challenge Based Learning, Robotics and Physical Devices: A systematic mapping literature review. Computer Application in Engineering Education, 29, 46-65. https://doi.org/10.1002/cae.22354

Cooke, A., D., S., & Booth, A. (2012). Beyond PICO: the SPIDER tool for qualitative evidence synthesis. Qualitative Health Research, 22(10), 1435-1443. https://doi.org/10.1177/1049732312452938

Cruz-Benito, J., García-Peñalvo, F. J., & Therón, R. (2019). Analyzing the software architectures supporting HCI/HMI processes through a systematic review of the literature. Telematics and Informatics, 38, 118-132. https://doi.org/10.1016/j.tele.2018.09.006

Daigneault, P. M., Jacob, S., & Ouimet, M. (2014). Using systematic review methods within a Ph.D. dissertation in political science: challenges and lessons learned from practice. International Journal of Social Research Methodology, 17(3), 267–283. https://doi.org/10.1080/13645579.2012.730704

Das, S., Srivastava, S., Tripathi, A., & Das, S. (2022). Meta-analysis of EMF-induced pollution by COVID-19 in virtual teaching and learning with an artificial intelligence perspective. International Journal of Web-Based Learning and Teaching Technologies, 17(4), Article 66. https://doi.org/10.4018/IJWLTT.285566

Daudt, H. M. L., van Mossel, C., & Scott, S. J. (2013). Enhancing the scoping study methodology: a large, inter-professional team’s experience with Arksey and O’Malley’s framework. BMC Medical Research Methodology, 13(1), Article 48. https://doi.org/10.1186/1471-2288-13-48

del Amo, I. F., Erkoyuncu, J. A., Roy, R., Palmarini, R., & Onoufriou, D. (2018). A systematic review of Augmented Reality contentrelated techniques for knowledge transfer in maintenance applications. Computers in Industry, 103, 47-71. https://doi.org/10.1016/j.compind.2018.08.007

DeLone, W. H., & McLean, E. R. (1992). Information systems success: The quest for the dependent variable. Information Systems Research, 3(1), 60-95. https://doi.org/10.1287/isre.3.1.60

Denyer, D., & Tranfield, D. (2009). Producing a systematic review. In D. A. Buchanan & A. Bryman (Eds.), The Sage Handbook of Organizational Research Methods (pp. 671-689). Sage.

Dias, L. P. S., Barbosa, J. L. V., & Vianna, H. D. (2018). Gamification and serious games in depression care: A systematic mapping study. Telematics and Informatics, 35, 213-224. https://doi.org/10.1016/j.tele.2017.11.002

Dixon-Woods, M., Bonas, S., Booth, A., Jones, D. R., Miller, T., Sutton, A. J., Shaw, R. L., Smith, J. A., & Young, B. (2006). How can systematic reviews incorporate qualitative research? A critical perspective. Qualitative Research, 6(1), 27-44. https://doi.org/10.1177/1468794106058867

Ferreras-Fernández, T., García-Peñalvo, F. J., & Merlo-Vega, J. A. (2015). Open access repositories as channel of publication scientific grey literature. In G. R. Alves & M. C. Felgueiras (Eds.), Proceedings of the Third International Conference on Technological Ecosystems for Enhancing Multiculturality (TEEM’15) (Porto, Portugal, October 7-9, 2015) (pp. 419-426). ACM. https://doi.org/10.1145/2808580.2808643

Fink, A. (1998). Conducting literature research reviews: from paper to the Internet. Sage.

Fornons, V., & Palau, R. (2021). Flipped Classroom in the Teaching of Mathematics: A Systematic Review. Education in the Knowledge Society, 22, Article e24409. https://doi.org/10.14201/eks.24409

García-Holgado, A., & García-Peñalvo, F. J. (2018). Mapping the systematic literature studies about software ecosystems. In F. J. García-Peñalvo (Ed.), Proceedings TEEM’18. Sixth International Conference on Technological Ecosystems for Enhancing Multiculturality (Salamanca, Spain, October 24th-26th, 2018) (pp. 910-918). ACM. https://doi.org/10.1145/3284179.3284330

García-Holgado, A., Marcos-Pablos, S., & García-Peñalvo, F. J. (2020). Guidelines for performing Systematic Research Projects Reviews. International Journal of Interactive Multimedia and Artificial Intelligence, 6(2), 136-144. https://doi.org/10.9781/ijimai.2020.05.005

García-Peñalvo, F. J. (2017). Mitos y realidades del acceso abierto. Education in the Knowledge Society, 18(1), 7-20. https://doi.org/10.14201/eks2017181720

García-Peñalvo, F. J., & Seoane-Pardo, A. M. (2015). An updated review of the concept of eLearning. Tenth anniversary. Education in the Knowledge Society, 16(1), 119-144. https://doi.org/10.14201/eks2015161119144

Gastel, B., & Day, R. (2016). How to Write and Publish a Scientific Paper (8th ed.). Greenwood.

Genero, M., Cruz-Lemus, J. A., & Piattini, M. (2014). Métodos de Investigación en Ingeniería del Software. RA-MA.

Glasgow, R. E., Vogt, T. M., & Boles, S. M. (1999). Evaluating the public health impact of health promotion interventions: The RE-AIM framework. American Journal of Public Health, 89(9), 1322-1327. https://doi.org/10.2105/AJPH.89.9.1322

Gough, D., Thomas, J., & Oliver, S. (2012). Clarifying differences between review designs and methods. Systematic Reviews, 1, Article 28. https://doi.org/10.1186/2046-4053-1-28

Grant, M. J., & Booth, A. (2009). A typology of reviews: an analysis of 14 review types and associated methodologies. Health Information and Libraries Journal, 26(2), 91-108. https://doi.org/10.1111/j.1471-1842.2009.00848.x

Green, B. N., Johnson, C. D., & Adams, A. (2006). Writing narrative literature reviews for peer-reviewed journals: secrets of the trade. Journal of Chiropractic Medicine, 5(3), 101-117. https://doi.org/10.1016/S0899-3467(07)60142-6

Greenhalgh, T. (2019). How to Read a Paper: The Basics of Evidence-based Medicine and Healthcare (6th ed.). John Wiley & Sons Ltd.

Greenhalgh, T., Wong, G., Westhorp, G., & Pawson, R. (2011). Protocol-realist and meta-narrative evidence synthesis: evolving standards (RAMESES). BMC Medical Research Methodology, 11, Article 115. https://doi.org/10.1186/1471-2288-11-115

Guirao-Goris, J. A., Olmedo Salas, A., & Ferrer Ferrandis, E. (2008). El artículo de revisión. Revista Iberoamericana de Enfermería Comunitaria, 1(1).

Gyongyosi, L., & Imre, S. (2019). A Survey on quantum computing technology. Computer Science Review, 31, 51-71. https://doi.org/10.1016/j.cosrev.2018.11.002

Hart, C. (2002). Doing a Literature Search: A Comprehensive Guide for the Social Sciences. Sage.

Higgins, J. P. T., Thomas, J., J., C., Cumpston, M., Li, T., Page, M., & Wech, V. (2021). Cochrane Handbook for Systematic Reviews of Interventions. Version 6.2. Cochrane Training. https://bit.ly/2RgWEgh

Hutton, B., Catalá-López, F., & Moher, D. (2016). The PRISMA statement extension for systematic reviews incorporating network meta-analysis: PRISMA-NMA. Medicina Clínica, 146(6), 262-266. https://doi.org/10.1016/j.medcle.2016.10.003

Ibrahim, R. (2008). Setting up a research question for determining the research methodology. ALAM CIPTA International Journal on Sustainable Tropical Design Research & Practice, 3(1), 99-102.

Keshav, S. (2007). How to read a paper. ACM SIGCOMM Computer Communication Review, 37(3), 83-84. https://doi.org/10.1145/1273445.1273458

King, A. J., Bol, N., Cummins, R. G., & John, K. K. (2019). Improving visual behavior research in communication science: An overview, review, and reporting recommendations for using eye-tracking methods. Communication Methods and Measures, 13(3), 149-177. https://doi.org/10.1080/19312458.2018.1558194

King, W. R., & He, J. (2005). Understanding the role and methods of meta-analysis in IS research. Communications of the Association for Information Systems, 16(1), 665-686. https://doi.org/10.17705/1CAIS.01632

Kitchenham, B., & Charters, S. (2007). Guidelines for performing Systematic Literature Reviews in Software Engineering. Version 2.3 [Technical Report](EBSE-2007-01). https://goo.gl/L1VHcw

Letelier, L. M., Manríquez, J. J., & Rada, G. (2005). Revisiones sistemáticas y metaanálisis: ¿son la mejor evidencia? Revista Médica de Chile, 133(2), 246-249. https://doi.org/10.4067/S0034-98872005000200015

Liberati, A., Altman, D. G., Tetzlaff, J., Mulrow, C., Gøtzsche, P. C., Ioannidis, J. P. A., Clarke, M., Devereaux, P. J., Kleijnen, J., & Moher, D. (2009). The PRISMA Statement for Reporting Systematic Reviews and Meta-Analyses of Studies That Evaluate Health Care Interventions: Explanation and Elaboration. PLOS Medicine, 6(7), Article e1000100. https://doi.org/10.1371/journal.pmed.1000100

Marcos-Pablos, S., & García-Peñalvo, F. J. (2020). Information retrieval methodology for aiding scientific database search. Soft Computing, 24(8), 5551–5560. https://doi.org/10.1007/s00500-018-3568-0

Marcos-Pablos, S., & García-Peñalvo, F. J. (2022). Emotional Intelligence in Robotics: A Scoping Review. In J. F. de Paz Santana, D. H. de la Iglesia, & A. J. López Rivero (Eds.), New Trends in Disruptive Technologies, Tech Ethics and Artificial Intelligence (pp. 66-75). Springer International Publishing. https://doi.org/10.1007/978-3-030-87687-6_7

Mayo‐Wilson, E., Li, T., Fusco, N., Dickersin, K., & MUDS investigators. (2018). Practical guidance for using multiple data sources in systematic reviews and meta‐analyses (with examples from the MUDS study). Research synthesis methods, 9(1), 2-12. https://doi.org/10.1002/jrsm.1277

McGhee, G., Marland, G. R., & Atkinson, J. (2007). Grounded theory research: literature reviewing and reflexivity. Journal of Advanced Nursing, 60(3), 334–342. https://doi.org/10.1111/j.1365-2648.2007.04436.x

Mengist, W., Soromessa, T., & Legese, G. (2020). Method for conducting systematic literature review and meta-analysis for environmental science research. MethodsX, 7. https://doi.org/10.1016/j.mex.2019.100777

Miedema, F. (2022). Open Science: the Very Idea. Springer. https://doi.org/10.1007/978-94-024-2115-6

Moher, D., Liberati, A., Tetzlaff, J., & Altman, D. G. (2010). Preferred reporting items for systematic reviews and meta-analyses: The PRISMA statement. International Journal of Surgery, 8, 336-341, Article e1000097. https://doi.org/10.1016/j.ijsu.2010.02.007

Oxman, A. D., Cook, D. J., & Guyatt, G. H. (1994). Users’ guides to the medical literature. VI. How to use an overview. Evidence-Based Medicine Working Group. JAMA, 272(17), 1367-1371. https://doi.org/10.1001/jama.1994.03520170077040

Oxman, A. D., & Guyatt, G. H. (1988). Guidelines for reading literature reviews. Canadian Medical Association Journal, 138(8), 697-703.

Page, M. J., McKenzie, J. E., Bossuyt, P. M., Boutron, I., Hoffmann, T. C., Mulrow, C. D., Shamseer, L., Tetzlaff, J. M., Akl, E. A., Brennan, S. E., Chou, R., Glanville, J., Grimshaw, J. M., Hróbjartsson, A., Lalu, M. M., Li, T., Loder, E. W., Mayo-Wilson, E., McDonald, S., McGuinness, L. A., Stewart, L. A., Thomas, J., Tricco, A. C., Welch, V. A., Whiting, P., & Moher, D. (2021). The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ, 372, Article n71. https://doi.org/10.1136/bmj.n71

Page, M. J., Moher, D., Bossuyt, P. M., Boutron, I., Hoffmann, T. C., Mulrow, C. D., Shamseer, L., Tetzlaff, J. M., Akl, E. A., Brennan, S. E., Chou, R., Glanville, J., Grimshaw, J. M., Hróbjartsson, A., Lalu, M. M., Li, T., Loder, E. W., Mayo-Wilson, E., McDonald, S., McGuinness, L. A., Stewart, L. A., Thomas, J., Tricco, A. C., Welch, V. A., Whiting, P., & McKenzie, J. E. (2021). PRISMA 2020 explanation and elaboration: updated guidance and exemplars for reporting systematic reviews. BMJ, 372, Article n160. https://doi.org/10.1136/bmj.n160

Palvia, P., Leary, D., Mao, E., Midha, V., Pinjani, P., & Salam, A. F. (2004). Research methodologies in MIS: An update. The Communications of the Association for Information Systems, 14, 526-542. https://doi.org/10.17705/1CAIS.01424

Paré, G., Trudel, M. C., Jaana, M., & Kitsiou, S. (2015). Synthesizing information systems knowledge: a typology of literature reviews. Information & Management, 52(2), 183-199. https://doi.org/10.1016/j.im.2014.08.008

Petticrew, M., & Roberts, H. (2005). Systematic reviews in the social sciences: A practical guide. John Wiley & Sons.

Phelps, S. F., & Campbell, N. (2012). Systematic Reviews in Theory and Practice for Library and Information Studies. Library and Information Research, 36(112), 6-15.

Pluye, P., Gagnon, M. P., Griffiths, F., & Johnson-Lafleur, J. (2009). A scoring system for appraising mixed methods research, and concomitantly appraising qualitative, quantitative and mixed methods primary studies in mixed studies reviews. International Journal of Nursing Studies, 46(4), 529-546. https://doi.org/10.1016/j.ijnurstu.2009.01.009

Pluye, P., & Hong, Q. N. (2014). Combining the power of stories and the power of numbers: mixed methods research and mixed studies reviews. Annual Review of Public Health, 35, 29-45. https://doi.org/10.1146/annurev-publhealth-032013-182440

Randolph, J. J. (2009). A Guide to Writing the Dissertation Literature Review. Practical Assessment. Research & Evaluation, 14(13), 1-13. http://pareonline.net/pdf/v14n13.pdf

Ren, P., Xiao, Y., Chang, X., Huang, P.-Y., Li, Z., Gupta, B. B., Chen, X., & Wang, X. (2021). A Survey of Deep Active Learning. ACM Computing Surveys, 54(9), Article 180. https://doi.org/10.1145/3472291

Richardson, W. S., Wilson, M. C., Nishikawa, J., & Hayward, R. S. (1995). The well-built clinical question: a key to evidence-based decisions. ACP Journal Club, 123(3), Article A12. https://doi.org/10.7326/ACPJC-1995-123-3-A12

Rincón-Flores, E. G., Ramírez-Montoya, M. S., & Mena, J. (2019). Engaging MOOC through gamification: Systematic mapping review. In M. Á. Conde-González, F. J. Rodríguez-Sedano, C. Fernández-Llamas, & F. J. García-Peñalvo (Eds.), TEEM’19 Proceedings of the Seventh International Conference on Technological Ecosystems for Enhancing Multiculturality (Leon, Spain, October 16th-18th, 2019) (pp. 600–606). ACM. https://doi.org/10.1145/3362789.3362831

Shamseer, L., Moher, D., Clarke, M., Ghersi, D., Liberati, A., Petticrew, M., Shekelle, P., & Stewart, L. A. (2015). Preferred reporting items for systematic review and meta-analysis protocols (PRISMA-P) 2015: elaboration and explanation. BMJ : British Medical Journal, 349, g7647. https://doi.org/10.1136/bmj.g7647

Shea, B., Moher, D., Graham, I., Pham, B., & Tugwell, P. (2002). A comparison of the quality of Cochrane Reviews and systematic reviews published in paper-based journals. Evaluation and the Health Professions, 25(1), 116–129. https://doi.org/10.1177/0163278702025001008

Shea, B. J., Reeves, B. C., Wells, G., Thuku, M., Hamel, C., Moran, J., Moher, D., Tugwell, P., Welch, V., Kristjansson, E., & Henry, D. A. (2017). AMSTAR 2: a critical appraisal tool for systematic reviews that include randomised or non-randomised studies of healthcare interventions, or both. BMJ, 358, Article j4008. https://doi.org/10.1136/bmj.j4008

Smith, V., Devane, D., Begley, C. M., & Clarke, M. (2011). Methodology in conducting a systematic review of systematic reviews of healthcare interventions. BMC Medical Research Methodology, 11, Article 15. https://doi.org/10.1186/1471-2288-11-15

Soto, M., & Rada, G. (2003). Formulación de preguntas en medicina basada en la evidencia. Revista Médica de Chile, 131(10), 1202-1207. https://doi.org/10.4067/S0034-98872003001000016

Stamp, K. D., Machado, M. A., & Allen, N. A. (2014). Transitional care programs improve outcomes for heart failure patients: an integrative review. Journal of Cardiovascular Nursing, 29(2), 140-154. https://doi.org/10.1097/JCN.0b013e31827db560

Stovold, E., Beecher, D., Foxlee, R., & Noel-Storr, A. (2014). Study flow diagrams in Cochrane systematic review updates: an adapted PRISMA flow diagram. Systematic Reviews, 3, Article 54. https://doi.org/10.1186/2046-4053-3-54

Sung, Y., Chang, K., & Liu, T. (2016). The effects of integrating mobile devices with teaching and learning on students' learning performance: A meta-analysis and research synthesis. Computers & Education, 94, 252-275. https://doi.org/10.1016/j.compedu.2015.11.008

Torres-Torres, Y.-D., Román-González, M., & Pérez-González, J.-C. (2021). Specific Didactic Strategies Used for the Development of Computational Thinking in the Female Collective in Primary and Secondary Education: A Systematic Review Protocol. In Proceedings of the 9th International Conference on Technological Ecosystems for Enhancing Multiculturality (TEEM 2021) (Barcelona, Spain, October 27-29, 2021) (pp. 25-29). ACM. https://doi.org/10.1145/3486011.3486414

Vázquez-Ingelmo, A., García-Peñalvo, F. J., & Therón, R. (2019). Information Dashboards and Tailoring Capabilities - A Systematic Literature Review. IEEE Access, 7, 109673-109688. https://doi.org/10.1109/ACCESS.2019.2933472

Veteska, J., Kursch, M., Svobodova, Z., Tureckiova, M., & Paulovcakova, L. (2022). Longitudinal Co-teaching Projects: Scoping Review. In D. Ifenthaler, P. Isaías, & D. G. Sampson (Eds.), Orchestration of Learning Environments in the Digital World (pp. 35-53). Springer. https://doi.org/10.1007/978-3-030-90944-4_3

Webster, J., & Watson, R. T. (2002). Analyzing the past to prepare for the future: Writing a literature review. MIS Quarterly, 26(2), xiii-xxiii.

Whittemore, R., Chao, A., Jang, M., Minges, K. E., & Park, C. (2014). Methods for knowledge synthesis: An overview. Heart & Lung, 43(5), 453-461. https://doi.org/10.1016/j.hrtlng.2014.05.014

Whittemore, R., & Knafl, K. (2005). The integrative review: updated methodology. Journal of Advanced Nursing, 52(5), 546-553. https://doi.org/10.1111/j.1365-2648.2005.03621.x

Wong, G., Greenhalgh, T., & Pawson, R. (2010). Internet-based medical education: a realist review of what works, for whom and in what circumstances. BMC Medical Education, 10, Article 12. https://doi.org/10.1186/1472-6920-10-12

Yu, D. S. F., Lee, D. T. F., Kwong, A. N. T., Thompson, D. R., & Woo, J. (2008). Living with chronic heart failure: a review of qualitative studies of older people. Journal of Advanced Nursing, 61(5), 474-483. https://doi.org/10.1111/j.1365-2648.2007.04553.x